HSAP: A Hierachical Sequence-aware Parallelism for Hybrid-Context Generative Models
HSAP：面向混合上下文生成模型的分层序列感知并行方法
🧭 大规模模型训练并行优化
Southern University of Science and Technology · International Digital Economy Academy
提出分层序列感知并行框架HSAP，解决混合上下文打包序列的因果注意力跨污染问题，性能优于现有方法
📌 工作参考价值（4 点）
- 混合上下文打包（如将多个用户行为序列拼接训练）时，需确保因果注意力掩码正确，借鉴HSAP的序列感知并行策略可避免跨序列注意力污染，提高推荐模型训练效率。
- 在分布式训练中，对于长序列模型（如用户长期行为Transformer），采用分层并行框架，结合张量并行和序列并行的混合策略，可优化通信和内存，加速训练。
- 利用JIT编译优化NCCL通信，可应用于自定义分布式推荐模型训练，减少跨机通信开销。
- 论文提出的内存和通信管理策略（如分片激活重计算）可迁移到大模型微调场景，降低显存占用。